package org.niit.kafka;

/*
   指定时间进行消费数
   和指定偏移量的原理是相同，一个是对所有分区的偏移量进行重置  一个是对所有分区的时间进行重置


    作业： 1. 主题为 BD1_1 消费数据从偏移量200开始消费
           2. 主题为 BD1_1 消费数据从2天前数据开始消费

           作业文件的名字： 学号-姓名-第x次作业.doc\
           周五：六点前交
 */

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.*;

public class CustomCosumerSeekTime {

    public static void main(String[] args) {

        //1.创建Kafka消费者的连接
        Properties proprs = new Properties();
        //1.1配置连接机器的地址
        proprs.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        //1.2指定消费者组
        proprs.put(ConsumerConfig.GROUP_ID_CONFIG,"P1");
        //1.3自动提交偏移量
        proprs.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"true");
        //1.4自动提交偏移量时间
        proprs.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"1000");
        //消费数据的模式：1.消费新数据 latest  2.消费历史数据earliest
        //proprs.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");
        //将Kafka读取的二进制数据 转换为 字符串
        proprs.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        proprs.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        //2.创建Kafka的消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(proprs);

        //3.订阅要消费的主题
        consumer.subscribe(Arrays.asList("BD1_1"));

        //4.1获取当前主题下的所有分区
        Set<TopicPartition> topicPartitions = consumer.assignment();
        //4.2初始化消费者分区分配信息（有了分区的分配信息 才能开始消费）
        while (topicPartitions.size() ==0){//保证可以将主题下的分区 拉取后重新分配
            consumer.poll(Duration.ofSeconds(1));
            //将初始化后的分区 分配信息重复赋值给 topicPartitions
            topicPartitions = consumer.assignment();
        }

        //4.3创建一个在分区对应的时间戳 的 Map -->目的：为了在后面根据分区下的时间戳找到对应的偏移量
        HashMap<TopicPartition,Long> timeToSearch = new HashMap<>();


        //4.4遍历所有分区，将每个分区对应到前x天的数据
        for (TopicPartition tp:topicPartitions){
           timeToSearch.put(tp,System.currentTimeMillis() - 5 * 24 * 3600 * 1000);
        }

        //4.5获取前五天开始消费 的每个分区的 offset --》 根据时间找到对应的偏移量
        Map<TopicPartition, OffsetAndTimestamp> tmp = consumer.offsetsForTimes(timeToSearch);

        //4.6遍历所有，并指定偏移量
        for (TopicPartition tp:topicPartitions){
            OffsetAndTimestamp offsetAndTimestamp = tmp.get(tp);
            consumer.seek(tp,offsetAndTimestamp.offset());
        }

        //5.使用while循环，不停的从Kafka获取数据
        while (true){
            //poll 是一批数据 很多条数据
            ConsumerRecords<String, String> poll = consumer.poll(Duration.ofSeconds(3));

            //将拉取出来的数据进行遍历 打印 offset key value topic
            for (ConsumerRecord<String,String> data:poll){//data 就是每一条数据

                String topic = data.topic();
                long offset = data.offset();
                String key = data.key();
                String value = data.value();
                System.out.println("消费者："+"偏移量："+offset+",值："+value);
            }

        }


    }

}
